Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers
用循环Transformer弥合隐式与显式推理差距
🧭 隐式CoT推理加速 · 循环Transformer
UW-Madison · Microsoft Research · ETH Zürich · KRAFTON · Ludo Robotics
首次在3B规模用循环Transformer+并行监督弥合隐式与显式思维链性能差距，并降低推理延迟2.5-6.9倍
📌 工作参考价值（4 点）
- 在电商搜索推荐Agent中，可用隐式循环推理替代显式CoT，将多步决策压缩为并行隐状态迭代，显著降低线上延迟；需为每个推理步设计中间监督信号（如意图、子查询），可用已有行为数据或蒸馏构造。
- 循环权重共享在不增加参数的前提下加深推理深度，适合线上部署的资源受限环境，可直接应用于Agent的轻量级推理模块。
- 可解释性验证技巧（将隐状态投影至词表）可用于监控Agent推理过程，确保推荐/搜索决策的合理性与可解释性。
- 若业务存在用户决策路径数据（如浏览-加购-购买），可仿照中间步骤监督，训练隐式推理模型以加速商品推荐理由生成或解释生成。